- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 ppl.pmx/model_zoo/llama/huggingface at master · openppl-public/ppl.pmx (github.com)总结：用PPL LLM需要运行多个步骤 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖
1.1K30编辑于 2023-11-21 - 来自专栏高性能计算
高性能深度学习推理引擎 OpenPPL 正式开源！
OpenPPL 是商汤基于自研高性能算子库的开源深度学习推理平台，能够让人工智能应用高效可靠地运行在现有的 CPU、GPU 等计算平台上，为云端场景提供人工智能推理服务。 [OpenPPL] 官网：openppl.ai 在刚刚举行的 2021 世界人工智能大会（WAIC）上，商汤科技正式推出 OpenPPL 计划 —— 决定将深度学习推理部署引擎 SensePPL 中云端推理的能力开源给技术社区 [SensePPL] ▎把推理交给 OpenPPL，把时间还给思考 OpenPPL 基于全自研高性能算子库，拥有极致调优的性能；同时提供云原生环境下的 AI 模型多后端部署能力，并支持 OpenMMLab /ppl.nn https://github.com/openppl-public/ppl.cv [OpenPPL] ▎结语 机器学习的发展远没有结束，我们将始终关注业界的进展。 OpenPPL 会吸收业界的需求，长期维护并完善算子的种类，模型支持的类型，并将长期优化模型推理全链条。
2.3K60发布于 2021-07-29 - 来自专栏OpenMMLab
OpenPPL 支持 OpenMMLab 模型部署
今天给大家介绍 OpenMMLab 君的一位好基友——OpenPPL 。 咱俩师出同门。OpenPPL 是商汤基于自研高性能算子库的开源深度学习推理平台，提供云原生环境下的 AI 模型多后端部署能力。 简单来说，用 OpenMMLab 开发的模型，可以通过 OpenPPL 高效可靠地运行在现有的 CPU、GPU 等计算平台上，为云端场景提供人工智能推理服务。 要理解OpenPPL的作用，要解释下整个 AI 应用的开发链路。 作为 AI 应用落地最关键的一环，推理引擎 OpenPPL 的作用，就是让经过训练的模型可以更高效地运行起来，为开发者提供更好的人工智能推理服务。 OpenPPL 支持 OpenMMLab 各系列的前沿模型，同时提供模型前后处理所需图像处理算子。
1K10编辑于 2022-01-18 - 来自专栏AI工程落地
大语言模型--张量并行原理及实现
scatter 把某个进程上的列表数据逐个分发给其它所有进程 LLM中支持并行的算子介绍 Embedding层 Embedding层包含两个输入，一个是word embedding(v, h)，存放的是所有词的向量 ppl.pmx/model_zoo/llama/modeling/static_batching/Model.py at master · openppl-public/ppl.pmx (github.com ppl.pmx/torch_function/RowParallelLinear.py at master · openppl-public/ppl.pmx (github.com) 单独的Linear 需要使用all_gather汇总结果 ppl.pmx/torch_function/ColumnParallelLinear.py at master · openppl-public/ppl.pmx
3.4K30编辑于 2024-06-05 - 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。 另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
3.1K30编辑于 2023-10-25 - 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。
1.1K10编辑于 2024-08-05 - 来自专栏机器之心
GPU推理提速4倍，256K上下文全球最长：无问芯穹刷新大模型优化记录
降低 LLM 的推理成本势在必行，而提升推理速度成为一条行之有效的关键路径。 实际上，研究社区已经提出了不少用于加速 LLM 推理任务的技术，包括 DeepSpeed、FlexGen、vLLM、OpenPPL、FlashDecoding 和 TensorRT-LLM 等。 LLM 推理任务一般为输入一段文字（token），通过 LLM 模型计算继续生成文字或其他形式的内容。 图 4 自适应矩阵乘实现 此外，「FlashDecoding++」进一步指出，在 LLM 推理阶段，针对特定模型，N 和 K 的取值固定。 ++」可以实现 NVIDIA 与 AMD 等多款 GPU 后端的 LLM 推理加速（图 5）。
67430编辑于 2023-11-07 - 来自专栏高性能计算
模型部署优化的学习路线是什么？
OpenPPL也在逐步开源自己的模型压缩工具链，并对上述提到的模型算法、压缩算法和硬件平台适配等方面的知识进行介绍。 四、模型部署 模型部署是整个过程中最复杂的环节。 ---- 尝试一下： 「从 0 到 1，使用 OpenPPL 实现一个 AI 推理应用」 加入我们： 「OpenPPL 招人啦！」 欢迎 star： 「openppl-public/ppl.nn」 交流 QQ 群：627853444，入群密令 OpenPPL
1K50发布于 2021-08-10 - 来自专栏高性能计算
从 0 到 1，使用 OpenPPL 实现一个 AI 推理应用
cat.jpeg 深度学习推理框架 OpenPPL 已经开源了，本文以一个图像分类实例，从 0 到 1 讲解如何部署一个深度学习模型，完成一个 AI 推理应用。 最终效果：通过上传一张猫咪照片（狗狗也可以），识别出图片中的动物 OpenPPL 的源码链接：https://github.com/openppl-public/ppl.nn 背景知识 OpenPPL 以下以在 Linux x86 平台上部署图像分类模型为例，详述 OpenPPL 的安装与使用流程，帮助同学们从 0 到 1 来实现一个人工智能应用推理服务。 安装 1. 下载 PPLNN 源码 git clone https://github.com/openppl-public/ppl.nn.git 2. 大家可以基于该示例进行改动，从而更熟悉 OpenPPL 的用法。 交流 QQ 群：627853444，入群密令 OpenPPL
1.8K40发布于 2021-08-02 LLM挂载&部署
limit_mm_per_prompt image=4 --max_model_len 8784 成功挂载： 在Dify中编辑“模型供应商”，添加更多模型供应商“OpenAI-API-compatible”，不仅支持LLM
21510编辑于 2025-05-22- 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。
59310编辑于 2024-07-20 - 来自专栏windealli
LLM Agent 简介
什么是LLM Agent导语GPT（尤其是GPT-4）等大语言模型（LLM）的推出，让人类认识到了大语言模型强大的文本生成能力。 只是用来做文本生成工具的话，LLM的能力就被严重低估了。 LLM Agent 概念定义关于LLM Agent， OpenAI 应用人工智能研究负责人Lilian Weng在其Blog中将LLM Agent定义为LLM、记忆（Memory）、任务规划（Planning 通过LLM和三个关键组件，LLM Agent可以拥有复杂的工作流程，其中模型基本上是与自身对话，而无需人工参与到交互的每个部分。 LLM Agent通过迭代运行并定义一些新的目标/任务，而非传统GPT那般接受单个查询的输入并返回输出LLM Agent 常见功能LLM Agent能够基于大语言模型进行对话、完成任务、推理，并可以展示一定程度的自主行为 LLM 与 三个组件LLM Agent 以 LLM 驱动，并需要三大组件辅助以完成工作（图片来自： https://lilianweng.github.io/posts/2023-06-23-agent
6.7K23编辑于 2024-01-12 - 来自专栏磐创AI技术团队的专栏
拥有LLM模型
大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 使用Hugging Face的Transformers的LLM 我将使用Hugging Face的Transformers库来开发GIT-LLM。 我相信Transformers对于最近LLM衍生物的发展做出了重要贡献。 在其中，需要将一个视觉编码器与一个LLM连接起来。我将解释一些关键组件。
47410编辑于 2024-06-06 - 来自专栏入门到放弃之路
LLM学习笔记：如何理解LLM中的Transformer架构
前言AI已经在我们的工作和生活中全面开花了，好久之前在GPT、混元大模型出来的时候，就想着能够学习一下关于AI的知识，所以这次打算从LLM开始学习，就问DeepSeek关于LLM的学习路线，DeepSeek 总结本篇文章主要是对 LLM Transformer 学习笔记的一个整理，内容更多的是一些概念性的东西，主要是了解 Transformer 的相关知识，为下一步的学习奠定基础。
57220编辑于 2025-03-10 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 :11.020314Z", "response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》：迄今最强大的公开可用的LLM \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta } ] }' 五、配置Open-WebUI 可以直接使用dify开源的llm ops集成：https://guisu.blog.csdn.net/article/details/138978737
6.5K00编辑于 2024-05-24 - 来自专栏CoderJia的工作笔记
LLM 应用的宝藏库：Awesome LLM Apps 项目深度解析
在这个背景下，Awesome LLM Apps 项目应运而生，为开发者提供了一个全面的 LLM 应用示例库。 这个项目不仅仅是一个简单的代码集合，更像是一本活生生的 LLM 应用开发教科书。 项目名称: awesome-llm-apps 项目地址: https://github.com/Shubhamsaboo/awesome-llm-apps 创建者: Shubhamsaboo 主要功能: 技术创新点与实际应用价值 创新技术实现 项目中展现了多个值得关注的技术创新点： Memory-Augmented LLM：项目实现了多种记忆增强的 LLM 应用，包括个性化记忆、共享记忆等机制。 结论与展望 Awesome LLM Apps 项目为 LLM 应用开发者提供了一个宝贵的学习和参考资源。 它不仅展示了当前 LLM 技术的应用边界，更为开发者提供了从零到一构建 LLM 应用的完整路径。
1.6K10编辑于 2025-06-15 - 来自专栏第一专栏
LLM-TAP随笔——有监督微调【深度学习】【PyTorch】【LLM】
5.3、模型上下文窗口扩展 上下文窗口：在自然语言处理中，LLM（Large Language Model，大型语言模型）的上下文窗口指的是模型在处理文本时所考虑的文本片段或单词的范围。
60240编辑于 2023-09-26 - 来自专栏AI工程落地
TensorRT LLM--RMSNorm
LayerNormµ是均值，σ是标准差RMSNormRMSNorm删除了均值，性能提升7%-64%pRMSNorm再RMSNorm基础上，进一步只让前p%的元素参与运算论文给出的经验值：p=6.25%TensorRT-LLM
27420编辑于 2023-11-22 - 来自专栏自然语言处理(NLP)论文速递
LLM推理速度飙升23倍！Continuous Batching：解锁LLM潜力！
（LLM）的推断过程以及传统批处理策略中存在的低效性。 示例迭代过程： 第一次迭代：LLM 生成第一个 token "S"，此时我们有 ["S"]。 第二次迭代：LLM 生成第二个 token "a"，此时我们有 ["S", "a"]。 它可以提高 LLM 生成的内存效率。 这些策略和方法旨在充分利用GPU内存，减少内存开销，从而提高LLM推断的吞吐量和效率。 Q10. 提高计算资源的利用率：LLM 推断通常是内存 - IO 受限的，而不是计算受限的，意味着加载数据到 GPU 的计算核心比在计算核心上执行 LLM 计算花费的时间更多。 这样做更有效地利用了芯片的内存带宽，提高了计算利用率、吞吐量，并降低了 LLM 推断的成本。 然而，LLM 推断是一个迭代的过程。
3K31编辑于 2023-10-24 - 来自专栏自然语言处理
【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐
指令微调的局限性 指令微调对于训练llm的能力至关重要，而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。 NEFTune可以实现在会话任务上惊人的性能跳跃，同时在事实问题回答基线上保持性能，这种技术似乎是LLM微调的免费午餐。 结论 NEFTune的成功指出了算法和正则化器在LLM训练中的重要性被忽视。与多年来一直在研究正则化和过拟合的计算机视觉社区不同，LLM社区倾向于使用标准化的训练循环，而不是泛化。 在这种环境下，LLM的研究人员已经专注于数据集和模型缩放作为前进的主要路径。考虑到NEFTune的一致性收益，以及在小指令数据集上的过拟合的倾向，似乎正则化值得在LLM设置中重新加入。 论文的研究有几个局限性： 采用AlpacaEval作为llm教学遵循能力的中心指标，它受到单一法官（GPT-4）偏见的影响。
52010编辑于 2024-01-10
腾讯云开发者
